PermaVid: Consistent Video Generation Across Edits via Disentangled Context Memory
PermaVid:通过解耦上下文记忆实现跨编辑一致视频生成
🧭 视频生成 · 解耦多模态记忆
Shanghai Jiao Tong University · Stanford University · S-Lab, Nanyang Technological University · The Chinese University of Hong Kong · Shanghai Innovation Institute
提出解耦语义外观与几何结构的多模态记忆,结合编辑感知更新,实现视频编辑后的长期一致性生成。
📌 工作参考价值(4 点)
- 解耦记忆设计可启发多模态商品表征:在电商中,将商品视觉特征解耦为外观(颜色、纹理)与几何(形状、结构)分别记忆,可提升虚拟试穿、商品编辑等场景的一致性。
- 编辑感知的记忆更新策略可借鉴到用户兴趣模型:当用户行为发生突变(如切换品类)时,类似更新机制能避免过时记忆干扰,维持长期兴趣建模的连贯性。
- 多模态记忆引导的生成框架可应用于个性化商品展示:利用混合模态参考条件(图像+深度)生成一致性的商品视频或图片,增强生成式推荐的视觉质量。
- 整体上,主要贡献在视频生成,但解耦记忆与一致性维护思路对推荐系统的多模态序列建模有一定跨界启发。